作为第一个会话级的中文数据集，Chase包含两个单独的部分，即从Scratch（Chase-C）手动构建的2,003个会话，以及从英语SPARC（Chase-T）翻译的3,456个会话。我们发现这两个部分是高度差异，并且作为培训和评估数据不兼容。在这项工作中，我们介绍了SESQL，这是中文的另一个大规模会话级文本到SQL数据集，由5,028个会话组成，所有课程都是从Scratch手动构建的。为了保证数据质量，我们采用迭代注释工作流程，以促进对先前的自然语言（NL）问题和SQL查询的紧张和及时审查。此外，通过完成所有与上下文有关的NL问题，我们获得了27,012个独立的问题/SQL对，允许SESQL用作单轮多DB文本到SQL解析的最大数据集。我们通过使用三个竞争性会话级解析器，并提供详细的分析，对SESQL进行基准测试级文本到SQL解析实验。

对事件序列的预测对于信息检索和自然语言处理中的许多现实世界应用至关重要。在事件序列预测中，未来的活动生成（FEG）是一项具有挑战性的任务，因为它不仅需要流利的文本生成，而且需要常识性推理才能保持整个事件故事的逻辑连贯性。在本文中，我们提出了一个新颖的可解释的FEG框架COEP。它突出并整合了两种类型的事件知识，对直接事件事件关系的顺序知识以及推论知识，这些知识反映了事件之间的中间角色心理学（例如意图，原因，反应），这些心理本质地将故事推向了故事。为了减轻知识遗忘问题，我们为每种类型的知识设计了两个模块，即IM和GM，它们是通过及时调整组合的。首先，IM专注于理解推论知识，以产生常识性解释并为通用汽车提供软提示向量。我们还设计了一种对比歧视器，以提高概括能力。其次，GM通过用IM的指导对直接顺序知识进行建模来生成未来事件。自动和人类评估表明，我们的方法可以产生更连贯，具体和逻辑的未来事件。

自然语言视频本地化（NLVL）是视觉语言理解区域的重要任务，该方面还要求深入了解单独的计算机视觉和自然语言侧，但更重要的是两侧之间的相互作用。对抗性脆弱性得到了很好的认可，作为深度神经网络模型的关键安全问题，需要谨慎调查。尽管在视频和语言任务中进行了广泛但分开的研究，但目前对NLVL等愿景联合任务的对抗鲁棒性的理解较少。因此，本文旨在通过检查攻击和防御方面的三个脆弱性，全面调查NLVL模型的对抗性鲁棒性。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义句子感知对抗对抗攻击对逆向（潜行），这捕获了视觉和语言侧面之间的跨模式相互作用。

Image-based head swapping task aims to stitch a source head to another source body flawlessly. This seldom-studied task faces two major challenges: 1) Preserving the head and body from various sources while generating a seamless transition region. 2) No paired head swapping dataset and benchmark so far. In this paper, we propose an image-based head swapping framework (HS-Diffusion) which consists of a semantic-guided latent diffusion model (SG-LDM) and a semantic layout generator. We blend the semantic layouts of source head and source body, and then inpaint the transition region by the semantic layout generator, achieving a coarse-grained head swapping. SG-LDM can further implement fine-grained head swapping with the blended layout as condition by a progressive fusion process, while preserving source head and source body with high-quality reconstruction. To this end, we design a head-cover augmentation strategy for training and a neck alignment trick for geometric realism. Importantly, we construct a new image-based head swapping benchmark and propose two tailor-designed metrics (Mask-FID and Focal-FID). Extensive experiments demonstrate the superiority of our framework. The code will be available: https://github.com/qinghew/HS-Diffusion.

Positive-Unlabeled (PU) learning aims to learn a model with rare positive samples and abundant unlabeled samples. Compared with classical binary classification, the task of PU learning is much more challenging due to the existence of many incompletely-annotated data instances. Since only part of the most confident positive samples are available and evidence is not enough to categorize the rest samples, many of these unlabeled data may also be the positive samples. Research on this topic is particularly useful and essential to many real-world tasks which demand very expensive labelling cost. For example, the recognition tasks in disease diagnosis, recommendation system and satellite image recognition may only have few positive samples that can be annotated by the experts. These methods mainly omit the intrinsic hardness of some unlabeled data, which can result in sub-optimal performance as a consequence of fitting the easy noisy data and not sufficiently utilizing the hard data. In this paper, we focus on improving the commonly-used nnPU with a novel training pipeline. We highlight the intrinsic difference of hardness of samples in the dataset and the proper learning strategies for easy and hard data. By considering this fact, we propose first splitting the unlabeled dataset with an early-stop strategy. The samples that have inconsistent predictions between the temporary and base model are considered as hard samples. Then the model utilizes a noise-tolerant Jensen-Shannon divergence loss for easy data; and a dual-source consistency regularization for hard data which includes a cross-consistency between student and base model for low-level features and self-consistency for high-level features and predictions, respectively.

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

场景图是一种语义表示，表达场景中对象之间的对象，属性和关系。场景图在许多交叉模态任务中起着重要作用，因为它们能够捕获图像和文本之间的交互。在本文中，我们关注场景图修改（SGM），其中需要系统来学习如何基于自然语言查询更新现有场景图。与以前重建整个场景图的方法不同，我们通过引入增量结构扩展（ISE）来将SGM作为图形扩展任务。 ISE通过逐步扩展源图来构建目标图，而无需更改未修改的结构。基于ISE，我们进一步提出了一个模型，该模型在节点预测和边缘预测之间进行迭代，从而逐渐推断出更准确和和谐的扩展决策。此外，我们构建了一个具有挑战性的数据集，该数据集包含比现有数据集更复杂的查询和更大的场景图。四个基准测试的实验证明了我们的方法的有效性，该实验超过了以前的最新模型。

对新数据库的普遍性对于旨在将人类话语解析为SQL语句的文本到SQL系统至关重要。现有作品通过利用确切的匹配方法来确定问题单词和模式项目之间的词汇匹配来实现这一目标。但是，这些方法在其他具有挑战性的场景中失败，例如，表面形式在相应的问题单词和架构项目之间有所不同的同义词替代。在本文中，我们提出了一个名为ISESL-SQL的框架，以迭代地构建问题令牌和数据库模式之间的语义增强的架构链接图。首先，我们以无监督的方式通过探测过程提取PLM的模式链接图。然后，通过深图学习方法在训练过程中进一步优化了模式链接图。同时，我们还设计了一个称为图形正则化的辅助任务，以改善模式链接图中提到的模式信息。对三个基准测试的广泛实验表明，ISESL-SQL可以始终优于基准，进一步的研究表明其普遍性和鲁棒性。

尽管预训练的语言模型（LMS）在许多NLP任务中都取得了重大改进，但人们越来越关注探索LMS的能力并解释其预测。但是，现有作品通常仅着眼于某些下游任务的特定功能。缺乏直接评估蒙版单词预测性能和预训练LMS的解释性的数据集。为了填补空白，我们提出了一个新颖的评估基准，以提供英语和中文注释的数据。它在多个维度（即语法，语义，知识，推理和计算）中测试LMS能力。此外，它提供了满足足够和紧凑性的仔细注释的令牌级别的理由。它包含每个原始实例的扰动实例，以便将扰动下的基本原理一致性用作忠实的指标，即解释性的观点。我们在几个广泛使用的预训练的LMS上进行实验。结果表明，他们在知识和计算的维度上表现较差。而且它们在所有维度上的合理性远非令人满意，尤其是当理由缩短时。此外，我们评估的预训练的LMS在语法感知数据上并不强大。我们将以\ url {http：// xyz}发布此评估基准，并希望它可以促进预训练的LMS的研究进度。

越来越多的文献证明了使用射频（RF）信号在遮挡和照明不良的情况下实现关键的计算机视觉任务的可行性。它利用RF信号遍历墙壁和遮挡，以使壁姿势估计，动作识别，场景字幕和人类重新识别。但是，与可以由人工工人标记的RGB数据集不同，标记RF信号是一项艰巨的任务，因为这些信号不是人类的可解释。但是，收集未标记的RF信号非常容易。使用此类未标记的RF数据以无监督的方式学习有用的表示形式将是非常有益的。因此，在本文中，我们探讨了调整基于RGB的无监督表示为RF信号的可行性。我们表明，尽管对比度学习已成为无监督的表示从图像和视频学习的主要技术，但当使用RF信号应用于感知人类时，这种方法的性能较差。相反，预测性无监督学习方法学习可用于多个基于RF的传感任务的高质量表示。我们的经验结果表明，这种方法的表现优于基于RF的最先进的人类对各种任务的感知，从而开放了从这种新颖方式中学习的可能性。